SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning
SD-Search：策略事后自蒸馏实现搜索增强推理的步骤级监督
🧭 搜索增强推理 · 事后自蒸馏 ★ 深度解读
Kuaishou Technology
提出事后自蒸馏框架，从策略自身获取搜索步骤的细粒度监督，无需外部教师或额外标注
📌 工作参考价值（4 点）
- 从策略自身挖掘步骤级信号：同一模型在训练时分别以“学生”（仅推理时上下文）和“教师”（额外看见同组滚动的事后摘要）两种视角运行，用分布匹配提取各搜索决策的细粒度反馈，无需外部教师或昂贵标注。可在推荐 Agent 的多步交互中复用，对关键决策步骤（如召回、重排）施加 token 级自蒸馏。
- 事后信息块的精巧设计：通过屏蔽答案和思考内容、保留查询与二元结果标签（CORRECT/INCORRECT）构建对比，迫使教师隐含地评价哪些查询值得执行。在对话或推荐 Agent 中，可用历史动作和成功/失败标签构建类似的事后上下文，强化正向动作模式。
- Jensen-Shannon 散度替代 KL 或 MSE：对称、有界的 JSD 比 forward KL（强迫覆盖所有模式）或 reverse KL（过早坍塌到单一模式）更稳定，且对 top-k 截断不敏感，适合 token 级分布对齐。可用于任何需要软目标匹配的生成任务，如生成式推荐中的语义 ID 蒸馏。
- 无额外推理开销的 RL 融合：自蒸馏仅增加一次辅助前向和损失项，不修改奖励或优势计算，训练耗时仅增 15.5%，推理完全不变。低成本地提升了多跳问答的查询质量，而不增加搜索次数，对线上 Agent 服务的效率优化有启发。